Table of Contents
熵的基本性质
1. 非负性：H(X) ≥ 0
熵描述的是某个集合统计意义上的不确定性，是自信息的加权平均。 而我们在一开始寻找描述不确定性的函数，引出自信息量概念的时候，便要求自信息的取值应在[0，+∞]。 故，熵作为自信息的加权平均，自然也是非负的。
2. 确定性：H(1,0)=H(1,0,0)=……=H(1,0,0,...,0)=0
①根据熵的定义式，可知H(1,0)=1*log1=0 ②根据熵的意义，当信源发出某个符号的概率为1，则该信源为确知信源，其不存在不确定性， 即确知信源的熵等于0。
3. 对称性：熵只与随机变量的总体结构有关。
4. 扩展性：极小概率事件对熵几乎没有影响
5. 熵的链式法则
该式称为熵的强可加性。
若X,Y统计独立，则
该式称为熵的可加性。
进一步推广，可得
N维联合信源熵的链式法则为：
6. 极值性：输入等概时，熵最大。
上式又称为最大离散熵定理。
7. 熵的独立界：条件熵小于等于无条件熵。
如果统计相关的变量已知，则统计意义上不确定性减少。
即，条件作用使熵减小。
熵的独立界是统计意义上的，对于Y具体取某个值的情况不一定成立。
该定理称为熵的独立界。
